Đến tuổi trưởng thành, Tư Mã Thượng Chi được bổ làm Bí thư lang trong triều đình. Sau đó ông được thăng lên chức Tán kị thị lang. Năm 388 đời Tấn Hiếu Vũ Đế, Tư Mã Điềm được phong làm Thứ sử hai châu Thanh Duyện và chuyển đến Kinh Khẩu, Tư Mã Thượng Chi cũng được phong làm Chấn Uy tướng quân, Quảng Lăng tướng. Đến năm 390, Tư Mã Điềm mất, Thượng Chi lên kế tập tước vương, nhưng phải thôi chức quan để chịu tang cha[2].

Sau khi hết tang, Tư Mã Thượng Chi lại trở về triều đình giữ chức Phiêu kị tướng quân và làm Tham quân cho Cối Kê vương Tư Mã Đạo Tử người chấp chưởng triều chính. Sang đời Tấn An Đế, do Tư Mã Đạo Tử trọng dụng gian thần Vương Quốc Bảo[3] nên năm 397, ngoại thích Vương Cung ở Kinh Khẩu khởi binh, muốn trừ Quốc Bảo. Trước sức mạnh của quân đội Vương Cung, Tư Mã Đạo Tử đành phải thuận ý, sai Tư Mã Thượng Chi tịch thu ấn quan của Quốc Bảo và ban chết cho Quốc Bảo để Cung lui quân[4]. Lúc đó có Tán kị Thị lang Lưu Trấn Chi, Bành Thành nội sử Lưu Quyên và Từ châu biệt giá Từ Phóng Tịnh cũng bị bắt giam sắp đem ra xử tử. Thượng Chi khuyên Tư Mã Đạo Tử phóng thích đi. Đạo Tử nghe theo[5].